iT邦幫忙

2026 iThome 鐵人賽

DAY 1
1
Kubernetes

從零到一:使用 K8S + GitOps 打造異構技術棧的資料分析平台系列 第 1

[Day 1] 前言:為什麼要選這個題目?專案背景與願景 —— 介紹 Wafer BI 的誕生。

  • 分享至 

  • xImage
  •  

Day 1: 前言:為什麼要選這個題目?專案背景與願景

說明 Wafer BI 專案的背景、異構技術選型考量,以及這系列 30 天的整體規劃。

大家好,我是 Carrot,第一次參加鐵人賽,按下報名鍵的時候其實猶豫了滿久,想說 30 天欸,真的寫得完嗎(現在想想還是很挑戰 哈哈)。

接下來 30 天,我想帶大家跑一趟完整的旅程:從零到一,用 K8S + GitOps 打造異構技術棧的晶圓數據分析平台

這不是那種「Hello World 教學合集」,而是一個真實專案從本地開發、容器化、上 K8S、到 GitOps 自動化維運的完整記錄——包含那些讓我半夜抓頭的坑,而且坑還不少,哭啊。

1. 為什麼選擇晶圓分析當題目?

在半導體製造業裡,數據分析是提升產率 (Yield) 的關鍵。一片晶圓 (Wafer) 上有成千上萬個晶粒 (Die),每個晶粒都會經過多項參數測試(像是 Thickness、Resistance),每天產出的測試數據量非常可觀。

Wafer BI(晶圓商業智慧)平台要做的,就是把這些海量測試數據變成看得懂的東西:晶圓熱圖、批次統計、良率報表。它不只是一個數據看板,而是一個把現代化軟體架構跟大數據技術揉在一起的完整系統。

先給大家看最終成品長什麼樣子。這是登入 admin 帳號後的「批次概覽」頁面,每一張小圓圖都是一片晶圓的即時熱圖,由 ECharts 在前端渲染:

▲ Wafer BI 批次概覽 Dashboard:25 片晶圓熱圖縮圖與批次統計 CDF

點進任何一片晶圓,還能看到單片的完整熱圖細節:

▲ 單片晶圓熱圖詳情與 CDF 分布圖

2. 核心技術挑戰

這個專案有兩個我最想挑戰的主題:

  • 異構技術棧 (Heterogeneous Stack):Java 擅長企業級事務與權限管理,Python 在數據科學與大數據處理上又是絕對優勢,那能不能兩個都要?我全都要(誤)。我們的組合是:
    • User Service:Java / Spring Boot 3,負責認證與權限
    • Wafer BI Service:Python / FastAPI + Delta Lake,負責大數據計算
    • API Gateway:Node.js / Express,統一門戶
    • Frontend:React + ECharts,把資料變好看
  • GitOps 實踐:傳統 CI/CD 大多是「推動式 (Push-based)」,GitOps 則是「聲明式 (Declarative)」——Git 是唯一的真相來源 (Single Source of Truth),環境永遠跟 Git 同步。我們會用 ArgoCD 把整條自動化閉環打通。

3. 本系列文章目標

這 30 天的路線圖大概長這樣:

階段 天數 主題
奠基 Day 1~7 架構設計、容器化、本地開發環境
叢集實戰 Day 8~14 K8S 資源配置、雲端部署的取捨、Helm、持久化
自動化 Day 15~21 GitHub Actions CI、ArgoCD GitOps、部署策略、供應鏈安全
維運 Day 22~30 監控、追蹤、彈性伸縮、災難恢復、效能調優

4. 我的實作計畫

透過每一次 CrashLoopBackOff、每一次 Schema Mismatch(Day 4 就會遇到一個),當下真的會想把鍵盤丟出窗外,但查了半天終於修好的那一瞬間,會覺得一切都值得,太爽啦。

好,明天先從系統架構全覽開始,我們明天見!

本系列的完整程式碼公開在 GitHub:DarkSchneider1024/wafer-bi,實作環境為 Docker Desktop (Windows) 內建的本機 K8S;雲端部署的評估與現實限制,Day 9 會誠實聊聊。


下一篇
[Day 2] 系統架構全覽:Java + Python + React 的異構方案 —— 解析異構技術棧如何截長補短,打造高效分析平台。
系列文
從零到一:使用 K8S + GitOps 打造異構技術棧的資料分析平台2
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言